ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering
渐进式多模态搜索 Agent 用于知识型视觉问答
🧭 Agent 自适应多模态检索
OPPO AI Center · Tsinghua University · Nanyang Technological University
提出自适应调用图文检索的 Agent，并通过长度与深度归一化的 RL 优化搜索策略
📌 工作参考价值（4 点）
- 自适应检索流程：Agent 迭代选择图像搜索、文本搜索或停止，带工具调用预算和去重。在电商商品搜索中，可构建类似 Agent，根据用户意图动态决定查询商品图库还是文本描述库，避免固定 top-k 带来冗余。
- 序列级 RL 训练归一化：TN-GSPO 根据生成长度与工具交互深度归一化更新，缓解冗长交互被过度惩罚的问题。训练推荐对话 Agent 时，可借鉴此目标，平衡回答质量与多轮交互开销。
- 两阶段训练范式：先拒绝采样 SFT 学习合法工具调用格式，再 RL 优化。对落地 Agent 很有参考意义：先用人工或规则筛选合法 action 轨迹微调，再线上 RL 提升策略。
- 去重机制：对已检索内容去重，避免重复调用工具。在召回或多路检索场景中，可加入类似历史感知的去重，减少无效请求，提升效率。